package com.wx.hd;

import java.util.HashMap;
import java.util.Map;
import edu.uci.ics.crawler4j.crawler.Page;
import edu.uci.ics.crawler4j.crawler.WebCrawler;
import edu.uci.ics.crawler4j.parser.HtmlParseData;

public class HtmlCrawler extends WebCrawler{
	private Map<String,Page> map;
    
    public HtmlCrawler() {
        this.map = new HashMap<String, Page>();
    }
    @Override
    public void visit(Page page) {
        if(page.getParseData() instanceof HtmlParseData) {
            String url = page.getWebURL().getURL();
            page.setContentData(null);
            this.map.put(url, page);
        }
    }
    @Override
    public Object getMyLocalData() {
        return map;
    }
}
